AI Mindmeld: A Latent Interconnect Protocol
AI Mindmeld：潜在互联协议，让专家表示直连 LLM
🧭 Agent 工具调用中的专家表示直连
Polymathic AI · New York University · Yale University · Flatiron Institute · Princeton University
提出 LIP 协议：冻结 LLM 只训练连接器，把专家表示直接映射进 LLM 内部状态，支持零样本跨域组合
📌 工作参考价值（4 点）
- 在电商搜索/推荐 Agent 中，用户、商品、行为序列通常已有高维 embedding；可为这些内部模型训练轻量连接器直接注入 LLM，而不是先把候选/特征转成文本摘要。冻结基座 LLM 只训 connector，成本低、可随 LLM 版本快速替换。
- 多专家可组合：商品理解、用户意图、广告文案等专家各自独立训练连接器，新专家接入无需重训旧连接器或 LLM；这种模块化设计适合业务中频繁新增召回/排序模型的场景。
- 零样本任务迁移提示：用表示注入替代 prompt 拼接，LLM 可被引导到未见过的组合任务（例如从用户 embedding + 商品 embedding 直接生成推荐理由），但需注意当前 LLM 不经专门训练可能不稳定，建议在 connector 输出层加 norm/对齐损失，或先用领域数据做轻量适配。
- 工程上可参考连接器映射到 LLM 某几层的 hidden state，类似 soft prompt / prefix injection；在线上服务时可预计算专家表示并缓存，connector 前向开销很小，便于高 QPS 推理。